Een eerste houten kasteel werd omstreeks 842 gebouwd op een rotsachtige bergkam ten westen van de stad Florennes. Het werd in de 10de eeuw vervangen door een ommuurd stenen kasteel dat werd toegeschreven aan graaf Eilbert.
Door de eeuwen heen werd het meerdere malen herbouwd en bewoond door verschillende adellijke families. Op bevel van Lodewijk XIV werd de vesting in 1704 ten slotte afgebroken. Het enige wat van het oorspronkelijke feodale kasteel overblijft, zijn de voet van enkele muren en torens. De hoge delen werden na de brand van 1868 herbouwd en van kantelen voorzien. In 1896 verkocht de laatste adellijke familie, de hertogen van Beaufort-Spontin, het kasteel aan Franse jezuïeten. In de Eerste Wereldoorlog dient het kasteel als veldhospitaal voor het Franse leger, later voor de Duitse troepen. In de Tweede Wereldoorlog werd het kasteel opnieuw bezet door de Duitse Luftwaffe, gevolgd door Amerikaanse troepen.
Sinds 1950 herbergt het een school en werd het gebruikt voor educatieve doeleinden door de stad Florennes. Sinds 1980 is kasteel van Florennes erkend als Waals erfgoed.